神经网络体系结构的定义是执行最关键和最具挑战性的任务之一。在本文中,我们提出了平行密码。ParallelMLPS是一种可以通过探索现代CPU和GPU的局部性和并行功能的原理来实现具有不同数量神经元和激活功能的几个独立多层感知神经网络的训练。该技术的核心思想是使用修改的矩阵乘法,该矩阵乘法将序数矩阵乘法替换为两个简单的矩阵操作,这些矩阵操作允许梯度流动的单独且独立的路径,可以在其他情况下使用。我们已经在模拟数据集中评估了我们的算法,该数据集使用10,000种不同的模型来改变样品,功能和批次的数量。如果与顺序方法相比,我们实现了从1到4个数量级的训练速度。
translated by 谷歌翻译